# 使用CrawSpider爬取名人名言
"""
URL:"https://quotes.toscrape.com/"
首先，进入主页面；
其次，提取名言内容、作者姓名、标签；
然后，通过作者链接跟进作者介绍页面；
最后，提取作者相关信息。


步骤01：在cmd使用如下命令创建爬虫项目。
scrapy startproject quotes

步骤02：在出现的quotes的文件夹中创建爬虫文件quotes.py

步骤03：运行爬虫，执行scrapy crawl quotes


这里对RULE的规则进行讲解。
1、
Rule(LinkExtractor(allow = '/page/\d+'), callback = 'parse_quotes',
                                        follow = True),

查看页面元素，查看下一页按钮，链接地址为/page/+页面数字
/page/\d+ 这一正则表达式表示爬取所有符合该规则的页面。
然后根据callback调用parse_quotes处理，提取相关数据；
由于follow = True，因此跟进Response返回的所有符合规则的链接，也就是内容页的链接


2、
Rule(LinkExtractor(allow = '/author/\w+'), callback = 'parse_authors')
作者介绍页的链接地址为/author/+作者姓名，利用正则表达式抓取所有相关链接；
获取作者介绍页的内容，调用parse_author进行数据爬取。

"""
